FlashScript：将重复 Agent 工作流编译为可复用神经符号程序
🧭 Agent 轨迹编译为可复用神经符号程序 ★ 深度解读
University of Southern California · Microsoft
把成功 Agent 轨迹固化为代码加局部 LLM 调用的神经符号程序，实现一致、可泛化且低成本复用
📌 工作参考价值（4 点）
- 高频运营/数据工作流（周报、选品监控、广告复盘、搜索 query 改写评估）可以先跑通一次，再用 FlashScript 思路固化：工具操作写死为代码，只有模糊判断（如“是否作弊”“是否敏感词”“是否价格异常”）保留为 llm<T> 调用；后续执行一致，token 成本大幅下降。
- 三层划分可直接迁移到推荐/Agent pipeline：输入层做非结构化请求到结构化参数的映射，计算层把阈值/规则判断写成代码，输出层只做文案渲染；这能显著减少 LLM 调用次数，适合构建低延迟线上服务。
- 三个降本技巧可直接复用：caching 观测值 + guard（已知类目 ID 直接用缓存，新类目才问 LLM）；codifying 把可规则化的审核/过滤写成正则或阈值；clubbing 把多个独立判断合并成一个 LLM 请求或并行调用，适合批量处理商品/内容理解。
- 如果业务里要让 Agent 重复执行某类任务，优先要求它生成可执行的 NSP，而不是 skill 提示；NSP 的可测试性更强，能把 symbolic shell 与 neural calls 分开做单元/回归测试，便于上线和运维。
SCOPE：将自然语言策略编译为神经符号谓词程序
🧭 Agent 策略执行 · 神经符号编译
Plurai
将复杂 Agent 策略编译为可执行神经符号谓词程序，用对抗反例联合优化，实现低成本高稳定策略判决
📌 工作参考价值（4 点）
- 可将复杂业务合规/风控规则（如广告审核、客服 Agent 禁言/承诺约束）编译为“小模型谓词 + 确定性提取器 + 代码组合”的可执行程序，替代大模型黑盒 judge，降低线上推理成本和延迟。
- 用对抗反例生成围绕“程序偏离策略”的地方补充训练数据，尤其适合长尾违规场景；训练时先用最弱执行器/小模型优化谓词，再直接迁移到其他小模型部署，减少重复调优。
- 每个判决可回溯到具体谓词输出，便于风控审计、线上排查和业务规则解释；在需要稳定复现的合规场景，优先考虑这种神经符号方案而非纯 LLM-as-judge。
- 在电商 Agent 中，可把退换货政策、价格承诺、营销文案限制等自然语言策略转化为确定性谓词，仅对模糊语言判断使用小模型，混合执行以提升整体可靠性。
LLM引导的分块特征工程：将长文本转化为可执行预测特征程序
🧭 LLM 驱动的自动化特征工程 · 程序合成
City University of Hong Kong · Qfin Holdings, Inc. · Tianjin University · Carnegie Mellon University
LLM-BlockFE离线把长文本构造成可执行特征程序，在线零LLM调用，用带回滚和并行轨迹的分块搜索提升特征质量
📌 工作参考价值（4 点）
- 在线零 LLM 调用：在推荐/搜索/广告的高 QPS 场景，把 LLM 仅用于离线生成特征代码块，线上只执行提取逻辑，避免大模型推理时延与成本。适合处理商品评论、用户反馈、搜索日志等长文本，转化为可复用结构化特征。
- 可解释且可维护的特征工程：生成的是可执行代码块而非黑盒向量，便于沉淀到特征平台、版本管理和审计，满足风控、广告审核等强合规场景。
- 块级回滚与多轨迹搜索：用 depth-calibrated credit allocation 识别低质量代码块并回滚，减少贪心搜索局部最优；交错推进多条搜索轨迹共享方向描述，降低冗余探索，适合在特征探索阶段降低 LLM 调用次数与成本。
- 业务迁移方向：可用于电商退货/纠纷预测、广告点击转化中的文本信号提取，例如从商品标题和评论中自动构造用户意图、质量风险、价格敏感度等特征，替代部分人工特征工程。
组件感知反馈驱动的自进化程序
🧭 LLM 程序进化 · 组件级归因反馈 ★ 深度解读
Santa Clara University
对进化搜索中的每次代码变更做组件级归因并写入记忆，让 LLM mutator 在重排任务上收敛更快、效果更好
📌 工作参考价值（4 点）
- 在 LLM-guided evolutionary search 或自动优化 pipeline 中，不要只给 mutator 看完整代码和总分；把每次 mutation 的组件 diff（新增/删除/修改的函数、常量）与 evaluator 返回的 metric 变化组成 (component_set, delta_metrics) 记录，显式注入 prompt，能显著减少 LLM 从长上下文推断编辑效果的负担。
- 双参考帧设计值得复用：local frame（child vs parent）回答“上一步有没有用”，global frame（child vs seed）回答“整条 lineage 是否值得继续”。在搜索停滞时调用 global frame，可帮助 mutator 换策略而不是在局部瞎试。
- 多目标优化目标函数可借鉴：将质量项和成本项分别对 seed 归一化，加一个小的 λ 项和 min(a,b) 项，既能同时优化质量和 token 成本，又避免搜索只玩一个维度。电商重排/广告出价等成本敏感场景可以直接套用。
- 本地可服务模型（如 Qwen3.6-35B-A3B）就够用，不依赖 frontier LLM；组件级归因反馈提高了样本效率和跨域泛化，对线上持续自动调参/调 pipeline 有直接工程价值。
基于SVG原语的多模态推理框架 SVGLM
🧭 多模态推理 · SVG 程序生成
University of Massachusetts Amherst · University of Michigan · University of Illinois Urbana-Champaign · Dolby Laboratories
利用SVG作为文本与图像中间表示，让VLM在推理过程中生成可解释的图像程序
📌 工作参考价值（4 点）
- 将图像编辑/生成任务转为 SVG 程序输出，可精细控制元素坐标、颜色、几何关系，适合电商商品图、广告模板自动化生成与多轮修改。
- 利用 SVG 的双重性（既是图像描述又是文本指令），可设计 “think-with-image” 链：先生成 SVG 示意图辅助推理，再输出最终答案，提升图表解析、几何布局类任务的稳定性。
- 微调范式可复用：收集领域内“文本指令-图像编辑对”，用开源 VLM 训练生成 SVG 代码，并与自然语言推理任务混合训练，避免外部扩散模型不可控。
- 在需要精确理解图像结构（如优惠券布局、信息图审核）的场景，可以要求模型输出 SVG 表示进行可验证解析，而不是依赖像素级预测。
让 harness 成长而非上下文：从无策略脚手架到可复用专家智能体
🧭 Agent harness 自动增长优化 ★ 深度解读
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Shenzhen University of Advanced Technology · University of Macau
通过任务反馈把重复控制固化为可执行代码，LLM仅做语义推理，实现低成本高成功率Agent
📌 工作参考价值（4 点）
- 把高频控制路径（query 改写、结果校验、状态机流转、停止条件、重试策略）从 prompt/上下文固化到代码，LLM 只负责语义比较和最终生成；对电商搜索 Agent、客服 Agent 等高频请求场景，可显著降低单次 token 与成本。
- 建立 function-level trace 和失败窗口：线上失败日志关联到具体函数，优化器只修改被 trace 覆盖的有限代码面，避免全量重写；这能形成可维护的“局部重训练”工程闭环。
- 引入 held-out gate 与 checkpoint 回滚：每个修复候选必须在固定验证集上不降低成功率才接受，防止修复当前 case 导致历史能力退化；持续优化推荐策略或 Agent 逻辑时尤其关键。
- 小模型部署友好：将可复用控制移到代码后，4B 模型在 WebArena-Verified 上成功率达到 45.3%，而 Tool-Calling 只有 6.7%；端侧或低成本电商/搜索 Agent 可优先采用代码 harness 而非依赖大模型在线规划。
可验证奖励的程序学习：后训练LLM的符号反向传播
🧭 LLM 后训练 · 符号反向传播程序学习
CoreThink AI
提出PLVR，用符号反向传播从少量示例学习显式可验证程序，替代权重更新完成LLM后训练
📌 工作参考价值（4 点）
- 把电商/推荐 Agent 中可验证的中间步骤（价格计算、库存校验、规则判断、SQL 生成）抽成 typed primitives，用程序搜索学习编排逻辑，而不是微调模型权重：能力外置后可审计、可逐步验证、可跨模型迁移。
- 用 per-step contract verdict 做 dense reward 替代只校验最终结果，能显著提升多步工具调用链（query 改写→召回→过滤→排序）的学习效率，适合用于训练或引导推荐 Agent。
- 新任务只需约 100 条示例的程序搜索，无需新微调数据；同一原语库可服务多业务线，边际成本低，适合快速扩展不同场景的可验证逻辑。
- 符号反向传播中的类型推断可作为可解释的 credit assignment，用于混合确定性规则与 LLM 判断的业务流程，避免黑盒 RL 的大样本需求。
Twin：用测试时数字孪生玩未知游戏
🧭 测试时世界模型推断与规划 ★ 深度解读
Stanford University · Cornell University · University of Southern California · Yeshiva University
构建可执行世界模型，强制回放验证和规划后执行，以 93.3 分通关 ARC-AGI-3 23/25 个游戏
📌 工作参考价值（4 点）
- 对高成本真实动作（广告投放、push 打扰、人工客服介入）的探索策略，可借鉴 Twin 的 replay validation + halt-on-mismatch：用可执行代码模拟用户/市场动态，每次真实动作前强制模型回放历史交互，不一致就修复；执行中逐步校验，一旦预测失配立即停止并收集 counterexample，避免错误累积放大。
- 把 dynamics 与 goal/reward 显式分离，先验证转移模型，再通过假设-测试循环推断目标。在推荐/搜索中，用户意图常不可见，可先假设当前 session 目标（比价、闲逛、决策），用最小代价提问/推荐验证，而不是等点击或转化 reward 才优化。
- 让 LLM 生成可执行代码作为世界模型，而非黑盒神经网络，获得可解释、可验证、可 BFS 规划的优势；电商 Agent 可让 LLM 写业务规则或用户模拟器，通过离线日志回放验证，再用于策略推演和路径规划。
- 计算成本换真实动作数量：平均每个真实动作 224k tokens，但动作数减少约一半。对高价值动作划算，对高并发低风险推荐不划算；可按动作成本与风险决定是否启用 test-time compute。
MindForge：通过无源码程序合成教授小模型全周期软件工程
🧭 LLM 训练 · 程序合成 · 教师蒸馏
Huawei Canada · Queen's University · University of Manitoba
自动化将开源命令行程序转为无源码训练环境，用教师轨迹微调小模型，使编程从零构建性能大幅提升
📌 工作参考价值（4 点）
- 可借鉴其自动构建仅暴露接口和文档的无源码沙箱的方法，为推荐系统 Agent 生成训练环境，例如基于推荐 API 文档和模拟用户行为合成决策轨迹。
- 使用大模型作为教师生成高质量全生命周期交互轨迹，再微调小模型，这种蒸馏范式可直接用于将复杂推荐策略（召回、排序、重排）压缩为小型 Agent 模型，降低线上延迟。
- 训练数据覆盖需求分析、设计、实现、测试多阶段，对推荐 Agent 训练有启发：可设计从用户画像分析、策略设计到配置、离线评估的完整任务流，提升模型全局优化能力。
- 从与测试集不重合的仓库构建环境，泛化性提升显著，业务中可用多样化历史推荐场景构造合成数据，微调模型以应对未见过的运营需求或算法变更。
SpecFirst：行为规范提取优先的两阶段从零程序合成框架
🧭 Agent 规范驱动程序合成
Huawei Canada · Queen’s University · University of Manitoba · Concordia University
将需求工程引入LLM Agent，先提取行为规范再合成代码，从零编程通过率提升6.9%-21.3%
📌 工作参考价值（4 点）
- 复杂搜索/推荐策略从零构建时，可引入强制分阶段规范提取：让Agent先通过有限行为试探（如A/B黑盒探查推荐接口的响应规律）输出结构化Spec，再生成策略代码，避免直接编码导致的理解漂移。
- 将行为Oracle思想用于推荐Agent评测：设计黑盒环境（如模拟用户反馈的oracle），迫使Agent先探索行为边界再生成策略，提升策略的鲁棒性。
- 在多步推理任务中应用“规范-实现”解耦：例如，电商搜索Query意图理解与改写，可先让Spec Agent明确意图分类与改写约束，再由Code Agent生成规则或模型调用逻辑。
- 工程化时重视中间产物的稳定性：SpecFirst证明了提前固化的结构化规范能减少后续交互中的误解，在长上下文Agent任务中值得借鉴，如用JSON Schema约束中间输出格式。
基于数据驱动编译的金融问答数值幻觉消除框架
🧭 金融问答 · 数据为中心编译 · 数值推理Agent
Shenzhen Technology University · FiT, Tencent · South China University of Technology · The Hong Kong University of Science and Technology · Huazhong University of Science and Technology
提出数据为中心的推理编译器，通过对抗训练与编译执行消除金融QA中的数值幻觉
📌 工作参考价值（4 点）
- 对抗数据构造：在训练数据中注入可控噪声，可借鉴到电商问答Agent中提升对检索错误或无关文档的鲁棒性，减少商品价格、参数等数值误读。
- 编译-执行推理范式：将自然语言查询与检索文档转换为可执行程序（如SQL/Python），确保计算逻辑透明且可审计，适用于电商中的优惠叠加计算、库存统计等场景。
- 数据结构化代理训练：分阶段培养Agent的证据审计与程序合成能力，这种课程学习思路可用于训练电商推荐Agent的多步推理（如用户条件过滤、偏好权重计算）。
- 数据为中心优化：强调从数据构造端解决幻觉问题，启发我们构建面向电商任务的对抗性训练集，让Agent学会处理表格、图表等结构化文档中的噪音。
将评判逻辑代码化：通过程序蒸馏实现可扩展评估
🧭 评估 · 程序蒸馏
University of Wisconsin-Madison
将LLM评判逻辑蒸馏为可解释的程序委员会，实现低成本、透明评估，匹配13B模型性能，并产生廉价奖励信号
📌 工作参考价值（4 点）
- 在推荐系统的离线评估或奖励信号生成中，可借鉴程序蒸馏思路：用少量 LLM 标注数据蒸馏出可解释的程序化评判器，替代昂贵 API，大幅降低标注成本（如 reward model 训练）。
- 程序委员会聚合和置信度回退路由可迁移到多模型融合场景：多个简单规则/模型组成委员会，低置信度样本自动升级至复杂模型，平衡成本与质量。
- 程序化评判透明可编辑，适合电商推荐中需要业务解释性的场景：评估标准（如“推荐理由是否吸引点击”）可直接编码为规则，方便运营调整。
- 用于 reward model 蒸馏时，程序标签成本仅为专有 LLM 的 1/100，且性能更优，可为推荐系统的生成式奖励训练提供高效方案。